James Byron Dean sinh ngày 8 tháng 2 năm 1931 tại Marion, Grant, Indiana.[6] Anh là người con duy nhất của ông Winton Dean, người Mỹ gốc Anh với một phần nhỏ gốc Mỹ bản địa và bà Mildred Marie Wilson, có gốc gác từ những người nhập cư Anh trên chuyến tàu Mayflower thế kỷ 17.[7] Sau khi ông Winton bỏ nghề nông để theo nghề nha sĩ sáu năm, gia đình chuyển đến sống ở Santa Monica, California. Dean ban đầu theo học tại Trường Công lập Brentwood ở Los Angeles nhưng sau đó chuyển sang Trường Tiểu học McKinley ở khu phố lân cận.[8] Thời thơ ấu, Dean rất thân với mẹ vì bà là người duy nhất hiểu được con trai mình.[9] Khi anh lên bảy, bà đột nhiên mắc chứng đau ở bụng và sút cân nhanh chóng. Cuối cùng, bà mất vì ung thư tử cung khi con mình mới chín tuổi.[8] Cha của Dean sau đó gửi anh đến sống chung với người cô và chú là Ortense và Marcus Winslow ở Fairmount, Indiana.[10]

Trong những năm tháng thiếu niên, Dean thường xuyên tiếp xúc với một mục sư Tin Lành tên James DeWeerd; ông là người có sức ảnh hưởng lớn tới những sở thích của anh sau này như đấu bò, đua xe và kịch.[11] Hai người có mối quan hệ khá thân thiết kéo dài từ khi Dean học năm cuối trung học.[12] Từng có vài ý kiến cho rằng hai người có quan hệ tình dục với nhau.[13] Sau này, vào năm 2011, nữ diễn viên Elizabeth Taylor tiết lộ rằng Dean từng thú nhận với cô anh bị lạm dụng tình dục bởi một người đàn ông lớn tuổi hơn khoảng hai năm sau khi mẹ anh mất.[14]

Dean là một học sinh năng nổ ở trường trung học; anh tham gia đội bóng chày và bóng rổ, học kịch và tham gia cuộc thi hùng biện tổ chức bởi Hiệp hội Pháp y Trung học Indiana (Indiana High School Forensic Association). Sau khi tốt nghiệp Trường Trung học Fairmount năm 1949,[15] anh chuyển về California cùng với chú chó Max và chung sống với cha và mẹ kế. Tại California, anh ban đầu nhập học tại Cao đẳng San Monica chuyên ngành luật, nhưng sau đó chuyển tiếp qua Đại học California tại Los Angeles (UCLA) và chuyển chuyên ngành sang nghệ thuật sân khấu.[16][17] Người cha phản đối quyết định đó và mối quan hệ cha con trở nên tồi tệ đi.[17] Trong quãng thời gian tại UCLA, Dean được chọn từ nhóm 350 người để thủ vai Malcolm cho vở Macbeth.[18] Tháng 1 năm 1951, anh rời UCLA để theo đuổi sự nghiệp diễn viên.[19]